قبل هجرة النبي إلى المدينة ورجع إلى بلاده وأقام بها ، إلى أن كانت معركة خيبر في السنة السابعة من الهجرة ، فالتحق بالنبي هو وجماعة من الأشعريين والنبي لا يزال في خيبر ، في الوقت الذي رجع فيه جعفر بن أبي طالب من الحبشة ، فظن قوم أنه كان من المهاجرين إليها على حد تعبير الراوي ، وقد ولاه عمر بن الخطاب البصرة لما عزل المغيرة بن شعبة عنها ، فلم يزل بها إلى أن عزله عثمان بن عفان عنها وولاها عبد الله بن عامر بن كرن ، فسكن أبو موسى في الكوفة فلما ثار أهلها على سعيد بن العاص وأخرجوه منها كتبوا إلى عثمان أن يولي عليها أبا موسى فولاه الكوفة وعزله عنها أمير المؤمنين ( ع ) بعد أن وقف منه موقفه المشهور ، فكان واجدا وحاقدا عليه وقال فيه قولا سيئا كما يذهب لذلك بعض المحدثين ، وأضاف إلى ذلك أنه كان ليلة العقبة مع الذين اعترضوا طريق رسول اللّه ( ص ) . وجاء عن سويد بن غفلة أنه قال : كنت مع أبي موسى الأشعري على شاطئ الفرات في خلافة عثمان فروى لي عن رسول اللّه ( ص ) أنه قال : أن بني إسرائيل اختلفوا فلم يزل الخلاف بينهم حتى بعثوا حكمين ضالين ضلا وأضلا من اتبعهما ، ولا ينفك أمر هذه الأمة حتى يبعثوا حكمين ضالين ويضلان من اتبعهما ، فقلت له : احذر يا أبا موسى أن تكون أحدهما فخلع قميصه وقال : أبرأ إلى اللّه من ذلك كما أبرأ من قميصي هذا ، ومضى الراوي يقول : ولقد صدقت فيه نبوءة رسول اللّه ( ص ) فلقد كان حكما لأهل العراق فضل وأضل من اتبعه . ومهما كان الحال فقد جاء في شرح النهج لابن أبي الحديد أنهم حينما شرعوا في كتابة بنود الاتفاق كتب الكاتب هذا ما تقاضى عليه علي أمير المؤمنين ومعاوية بن أبي سفيان فقال معاوية بئس الرجل أنا إن أقررت أنه أمير المؤمنين ثم قاتلته وقال ابن العاص : بل تكتب اسمه واسم أبيه ، ولما أصر أهل العراق على ما كتب قال أنه أميركم وليس بأميرنا ، فأعادوا الكتاب إلى أمير المؤمنين وأخبروه بذلك ، فأمر بمحوه ، فقال له الأحنف لا تمح اسم أمير المؤمنين عنك فإني أتخوف إن محوتها لا ترجع إليك أبدا ، فقال أمير المؤمنين ( ع ) ما أشبه هذا